Ngu Hủ tự là Thăng Khanh, người Vũ Bình nước Trần, nay là phía nam Chá Thành, Hà Nam, Trung Quốc.

Ông nội Ngu Hủ là Ngu Kinh từng làm quan coi ngục ở huyện trong 60 năm, có tấm lòng khoan dung[1]. Cha ông mất sớm, từ khi ít tuổi ông đã phụng dưỡng bà nội.

Năm 12 tuổi, Ngu Hủ đã thông thạo kinh sách. Ít lâu sau ông được huyện tiến cử. Tướng quốc nước Trần – chư hầu nhà Hán - trông thấy Ngu Hủ cho rằng ông là người có tài nên muốn bổ nhiệm ông làm quan, nhưng ông từ chối vì phải phụng dưỡng bà nội đã 90 tuổi.